层级GTV预估：弥合容器级排序与商品级转化差距
🧭 层级 GTV 预估 · 集合感知多任务 ★ 深度解读
Meituan
HGE 用 HSAE、PLL、RCEF 解决容器级 GTV 预估的高方差、稀疏与粒度错配，离线 XAUC +0.63pp，在线 RPS +1.42%
📌 工作参考价值（4 点）
- 容器级排序场景（店铺卡片、直播间、品牌专区）可将 GTV 按「转化概率 × 商品购买概率 × 购买数量 × 价格」分解，用 Proxy-Label Learning 降低标签方差，适合直接迁移到 O2O 广告/电商容器预估。
- 商品集合动态变化时，用 Transformer 对 top-K 商品序列做 self-attention，并在 attention 后拼接 user/POI/query 上下文，先建模商品间竞争再注入个性化，比 mean pooling 效果好，可复用到店铺内商品 List 的泛化建模。
- 工程上采用残差塔修正 top-K 外订单偏差 + 通用回归塔兜底，并用可学习 gate 融合；这种「细粒度聚合 + 粗粒度回归」的双路结构能稳定处理商品级转化稀疏，适合冷启动/长尾容器。
- 多任务 loss 权重较小（item 级 CVR/qty 仅 0.03）仍带来明显提升；在转化稀疏场景可沿用 BCE 分类 + Huber 回归组合，并用 PCOC 监控校准。
任务盲不再：统一排序骨干中的多任务信息流
🧭 多任务学习 · 统一排序骨干 ★ 深度解读
Hello Group · University of Science and Technology of China · Institute of Software, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Beijing Information Science and Technology University
提出 MORE，以 Shared/Private Anchor Tokens 将多任务信息流嵌入统一骨干，逐层共同演化，在线多指标提升且延迟降低约30%
📌 工作参考价值（4 点）
- 任务感知 Anchor Tokens 可嵌入统一骨干：在电商/广告多任务排序中，不要只在塔层做 MMoE/PLE 路由，可在骨干每层引入 Shared/Private Anchor Tokens，使序列读取和特征交互直接感知任务差异，缓解共享瓶颈。
- 显式任务边界掩码是关键 trick：在 token mixing 或 attention 融合阶段，强制 Private Anchor 之间不可见，防止高频任务梯度主导混合权重、稀释长尾任务表示。这比单纯增加每任务容量更有效，可直接复用到多任务特征交互层。
- 请求级共享计算降低在线延迟：将同一请求的多个候选聚合为一个样本，用户侧序列编码只算一次并广播，候选侧差异通过 F 和 Anchor Tokens 表达。无需改变模型结构即可降低约30% P99 延迟，适合高并发推荐场景。
- 多行为序列 Cartesian product encoding：对行为类型组合编码为唯一 ID，而非仅 item 位置编码，可为下游任务感知序列读取提供更细粒度输入，减轻跨任务梯度冲突。
个性化任务依赖图缓解多任务推荐中的信号衰减
🧭 多任务学习 · 任务依赖图 ★ 深度解读
Huawei Technologies Co., Ltd.
PTDG以低秩动态任务图和因果GCN消息传递，缓解多任务推荐深层转化目标的信号衰减
📌 工作参考价值（4 点）
- 在电商/广告多目标转化（点击→加购→下单→支付）中，不要用全局固定漏斗依赖；用低秩分解（rank q≈T/3）从 item/user/scenario 特征生成动态任务邻接矩阵，再叠加因果掩码，能适配不同商品/场景的转化路径差异。计算上每个 item 只增加一次低秩矩阵乘法和 GCN 传播，在线延迟仅 +8 ms，适合 serving SLA。
- 借鉴因果掩码+自适应 shortcut 的消息传递：在任务图上允许 Click→Pay 等跳过中间环节的捷径，避免深层稀疏目标信号被层层衰减；这比固定层级 AITM 更灵活，尤其适合稀疏深层目标（支付、复购）的 CVR 预估。
- APM 结构化解耦共享参数：根据任务正样本率设置 mask 率，稀疏任务 mask 率更高（如低至 0.7），密集任务低（0.2），并线性 warm-up。相比 PCGrad 等梯度投影，训练开销几乎为零，推理无额外参数，可直接替换 MMoE/PLE 的共享底层。
- 用 EMA 归一化每个 task loss 权重（loss / EMA(loss)）是稳定多任务训练的轻量 trick，可以快速在现有 MTL 模型中验证。
从结构和语义解耦混合序列的多兴趣搜索-推荐联合建模
🧭 联合搜索-推荐 · 多兴趣建模 ★ 深度解读
华中科技大学
提出从行为类型和查询语义两个视角提取多兴趣，解决搜索推荐混合序列中的兴趣耦合问题
📌 工作参考价值（4 点）
- 结构化兴趣分解可作为电商混合行为建模的通用插件：将用户行为按搜索、推荐及跨域转换拆分，分别用独立 self-attention + target attention 建模，再与候选商品交互，可解耦短期意图与长期偏好。实际落地时，搜索行为用 query+点击 item 均值，推荐行为用 item embedding，通过掩码注意力捕获跨域转换，成本可控。
- 查询语义聚类实现低成本语义多兴趣分割：对全量 query 做 K-Means，将混合序列按最大相似度分配到语义簇，再在每个簇内用 target attention 聚合。电商场景中 query 文本易得，该方法无需额外标签，且正交损失使簇更分散，可直接迁移至搜索/推荐双渠道行为序列的粗粒度兴趣划分。
- 对比学习对齐 query 与 item 表示可提升行为融合质量：以点击 item 为正例，采样负例做 InfoNCE 损失，让搜推两种行为的表示空间一致。在商品搜索推荐联合模型中，此对齐步骤十分关键，尤其对描述文本稀疏或 ID 语义弱的场景，可用类似 span 的方式减少模态鸿沟。
- PLE 多任务架构对搜推联合预测的平衡有效：引入共享专家与任务专属专家，通过门控网络加权，可缓解搜推任务间的负迁移。在电商多目标优化中，如果搜索和推荐共享底层用户表示，PLE 结构可直接替换 MLP 预测头，提升整体指标。
工业级推荐系统的异构排序：Google Discover 案例研究
🧭 多任务 MoE 异构排序 · 跨类型公平性 ★ 深度解读
Google
提出 HA-MoE 架构将内容类型异构信号显式注入门控与专家调制，通过 LENS 可观测框架与 DL-AUC 指标打破负迁移并保障跨类型排序公平性。
📌 工作参考价值（4 点）
- 用显式类型信号调节 MoE 门控与专家：在电商/信息流中若需混排广告、直播、图文等多种内容，可在 MMoE 基础上将 item_type 等离散特征直接拼接入门控输入，并对专家输出做 FiLM 式的 scale & shift 调制，低成本实现内容自适应，避免少数类被淹没。
- 轻量级跨类型排序公平性指标：业务中常用全局 AUC，但可能掩盖广告压制短视频等问题。可参考 DL-AUC = λ·Micro-AUC + (1-λ)·Macro-xAUC，计算各内容类型间正负样本的交叉 AUC 均值，作为模型选优的硬约束，尤其适合有流量倾斜风险的场景。
- MoE 专家分工的可视化与监控：LENS 的激活切片能直观展示不同内容类型/任务所用专家的分布；PIEM 通过匈牙利匹配计算跨 run 的专家功能相似度，可做成自动巡检指标，在 warm-start 训练中快速发现专家坍缩或功能漂移，比等跑完完整评估更快更省。
- 多任务冲突的缓解技巧：共享底层 MLP 容易造成正负目标 seesaw，MMoE 直接替换有时仍会恶化某项。HA-MoE 通过异构信号解耦专家泛化能力，可复制到广告/搜索的「点击率+转化率+负反馈」联合优化中，尝试将场景/媒体特征注入类似 gate 和 expert 内部。
Mosaic：基于异构专家舰队的工业级用户嵌入平台
🧭 用户表征多专家舰队 ★ 深度解读
Meta
设计四种异构专家模型分别捕捉用户行为侧面，结合MRM与CRL消除冗余，离线NE与线上多面指标均提升
📌 工作参考价值（4 点）
- 模型架构选择：将用户信号拆分为稀疏ID、密集统计、行为序列和下游任务对齐四类，分别使用记忆型哈希表、DCN/MHTA等密集交互网络、HSTU序列模型和CoTrain端到端梯度对齐，避免单一模型在多目标上共享容量的折中。
- 增量信息保障：当已有多个嵌入在线上服务时，新嵌入训练可引入MRM（对相关任务做Spearman聚类，用笛卡尔积构建细粒度复合监督标签）与CRL（余弦冗余损失，鼓励新嵌入与已有嵌入正交，配合warm-up调度），有效对抗边际收益递减。
- 评估提效：CoEval 冻结用户塔并在下游排序器中就地计算ΔNE，跳过特征日志积累与回流重训，可将迭代周期缩短3~5倍；User Tower Zero-Out 则可快速衡量上游模型中用户塔的增量值，二者均值得在解耦用户建模流程中推广。
- 混合在线/离线服务：根据新鲜度需求选择CPU在线、GPU在线或GPU离线批量生产用户嵌入；GPU在线推理叠加AOTInductor编译、模型拆分与2小时TTL的memcache，累计可降低79%的GPU用量并微幅改善延迟。
电商统一多任务相关度建模：对比LLM与Cross-Encoder的任务路由架构
🧭 多任务相关度建模 · 任务路由架构 ★ 深度解读
Walmart Global Tech
首次对比三种任务路由架构在LLM和Cross-Encoder上的效果，发现解码器仅靠文本前缀时若去掉前缀会崩塌，私有层可完全恢复，多任务训练提升低资源任务最高+14%。
📌 工作参考价值（4 点）
- 多任务框架设计: 将6种实体对关系（query-ad, query-query, ad-ad等）统一用三点相关度分级联合训练，利用数据丰富任务（如query-ad）的知识转移到低资源任务（如product-type-product-type），直接提升低资源任务准确率最高14%，适合电商搜索推荐中多种相关性场景的统一建模。
- 任务路由选择: 对于Cross-Encoder，用文本前缀就够了，去掉前缀换成多分类头几乎无损失（~1%）；对于decoder-only LLM，必须加私有Transformer层（MHP），否则去掉文本前缀后模型会崩塌（Gemma-2-2b从87.14%掉到55.59%）。如果用LoRA微调LLM做多任务，务必配套私有层。
- 集成方案: 将LLM和Cross-Encoder的MHP模型做多数投票，利用两类模型的错误多样性（如LLM在抽象任务上更强，Cross-Encoder在词汇丰富任务上更强），在453K测试集上达到89.96%准确率，比文本前缀集成高1.92%，且MHP私有层训练出的模型多样性更强，适合构建高精度离线标注或线上集成。
- 工程效率权衡: Gemma-2-2b（2B）用LoRA（~2M可训参数）搭配MHP后准确率88.04%，接近Llama-3-8b（88.27%），且推理速度快于大模型，适合低延迟线上场景；ModernBERT（396M）用于批量离线标注效果最好（97.81%在ad-ad任务），但泛化到抽象任务弱，可按任务类型选模型。
OneRank：统一 Transformer 原生多任务排序架构
🧭 多任务排序 · Transformer 原生架构 ★ 深度解读
Renmin University of China · Shopee · Nanyang Technological University · Beijing Key Laboratory of Research on Large Models and Intelligent Governance
通过任务专用 token、梯度分离与候选感知情境描述符，将多任务推理内建于 Transformer 栈，消除编码器‑预测器分裂。
📌 工作参考价值（4 点）
- 任务专用 token 与梯度隔离：为每个任务引入可学习 token，配合注意力掩码实现早期特征分离；反向传播时对跨任务注意力进行梯度 detach，仅保留前向知识迁移，有效缓解跷跷板效应，可直接复用到电商 CTR/CVR/加购等多目标场景。
- 候选感知情境描述符：使用可学习的 cross‑attention 聚合整个候选集的分布信息，为每个任务生成全局表示，桥接训练‑服务差异；电商排序中可将其设计为包含 session 时间、搜索词、用户画像等业务信号的模块，提升列表级排序质量。
- 动态匹配评分取代静态 MLP 头：任务全局表示与候选任务表示内积打分，替代多层 MLP，实现 session 级自适应排序；对广告、搜索推荐中需要实时适应上下文（如大促、时段）的业务尤其有价值，且可与现有 KV‑cache 配合降低在线推理成本。
- 灵活跨任务信息流配置：通过注意力掩码实现 parallel、cascade、null、hybrid 等多种跨任务交互模式，工业界可直接根据漏斗关系（click→cart→order）设定单向级联，或让同类任务双向共享，省去复杂的手工建模或搜索。
直播推荐中的动态语义ID方法
🧭 生成式推荐 · 动态语义ID ★ 深度解读
Taobao & Tmall Group of Alibaba
提出动态语义ID捕捉直播实时内容，混合生成-判别架构融合交互特征，在工业直播场景带来显著提升
📌 工作参考价值（4 点）
- 动态Semantic ID设计：将直播物品的ID分为静态部分（主播多模态历史特征）和动态部分（实时内容特征），动态码本用EMA持续更新，可复用到其他流式或实时性强的推荐场景（如短视频、新闻）。
- 混合生成-判别架构：生成模块只负责产出SID作为辅助特征，判别模块融合显式交互特征（点赞、下单）做多任务预测，避免了纯生成式对交互信号建模的不足，适合电商直播等强交互场景。
- Codebook更新策略：动态SID的码本随实时向量变化通过EMA更新，保持紧凑性，减少重训代价，可迁移到需要在线学习或概念漂移的推荐系统。
- 工程化部署技巧：通过Partial Run将生成模块提前计算，使额外延迟仅增加1.33%，为高复杂度模型在线服务提供了可行范式，尤其适合预排序环节。
FashionLens：面向多功能时尚图像检索的任务自适应学习
🧭 多模态时尚检索 · 任务自适应表示与采样 ★ 深度解读
Harbin Institute of Technology (Shenzhen) · City University of Hong Kong · Southern University of Science and Technology · Nanjing University · National University of Singapore
提出任务自适应学习框架，通过球面查询校准与梯度引导采样解决多任务检索中的特征干扰与优化失衡，性能全面领先。
📌 工作参考价值（4 点）
- 梯度引导自适应采样 (GGAS)：利用 [RET] token 的梯度范数目衡量任务实时难度，并用 EMA 平滑后结合数据集大小先验重新加权采样概率，可迁移至电商多任务模型（如同时优化点击率、转化率、互补推荐）以自动平衡高资源与高难度任务，避免小样本任务欠拟合。
- 球面查询校准器 (PGSQC)：通过信息瓶颈结构生成意图感知的适应提议，再使用自适应球面线性插值动态旋转查询表示，使同一模型能灵活适配相似、搭配、属性筛选等不同检索意图。可在生成式推荐的多场景召回中借鉴，用可学习的插值系数替代硬路由，减小特征冲突。
- 统一多模态指令框架：基于 MLLM 将图片、文本、视频、多图组合及修改文本等多样化查询输入纳入统一编码，并使用自然语言指令显式指定检索意图，为构建电商通用搜索或 Agent 工具调用提供了清晰模板，便于扩展到视频摘要、对话式搜索等复杂交互。
- 异构数据整合 Benchmark 构建：U-FIRE 通过人工设计指令模板将 15 个碎片化数据集标准化，并加入两个未见过的组合任务评估 OOD 泛化，可直接用于电商领域多任务模型的全方位测试与上线前的鲁棒性验证。